XR und KI unterstützen Sehbehinderte im Arbeitsalltag

Es geht um die Teilhabe sehbehinderter Menschen am Arbeitsleben, aber auch um die Expertise von Fachkräften, die nicht verloren gehen soll, wenn die Sehkraft nachlässt. Denn geschieht dies, müssen qualifizierte Beschäftigte das Tätigkeitsfeld wechseln, wenn sie überhaupt noch beschäftigt werden.

Ein mobiles Assistenzsystem könnte das in Zukunft verhindern. Es wird von Forschern des Karlsruher Instituts für Technologie (KIT) und des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB im Rahmen des Projekts AssistiveXR4Work entwickelt. Das Ziel: mehr Selbstständigkeit im Arbeitsalltag für die Betroffenen und ein erleichterter Zugang zur Arbeitswelt für qualifizierte Fachkräfte.

Extended Reality und Künstliche Intelligenz

Um das zu erreichen, kombinieren die Forscher Extended-Reality-Brillen (XR) mit Künstlicher Intelligenz. „Wir entwickeln ein System, das visuelle Informationen automatisch erkennt, vergrößert, kontrastreicher darstellt oder vorliest – und sich so an die individuellen Sehbedürfnisse anpasst“, erklärt Prof. Dr. Rainer Stiefelhagen vom Zentrum für digitale Barrierefreiheit und Assistive Technologien (ACCESS@KIT) des KIT. „In einem Meeting kann es etwa Inhalte eines Whiteboards automatisch erkennen und vergrößern oder handschriftliche Notizen in Klartext übertragen und direkt weiterverarbeiten.“ In technischen Arbeitsumgebungen wiederum könne das System bei der Orientierung helfen und relevante Komponenten hervorheben.

Dafür erfassen die XR-Brillen permanent die Umgebung und reagieren umgehend auf die Sehbedürfnisse des Brillenträgers. Eine integrierte KI hilft bei der Orientierung oder erkennt Objekte im Umfeld. Bei Bedarf kann auch ein Mensch per Livestream unterstützen.

In den kommenden vier Jahren soll ein funktionsfähiger Demonstrator entstehen, der anschließend in der Praxis erprobt wird. Das Projekt wird vom Bundesministerium für Arbeit und Soziales mit rund 1,5 Mio. Euro gefördert.